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MENETELMA KUVIEN INTERPOLOIMISEKS1 JA TERAVOITTA- 
MISEKSI 

Nyl esilla olevan keksinnOn kohleena on oheisen patenttivaatimuksen 
5 1 johdanto-osassa e6itetty menetelma kuvien teravoittamiseksi. Nyt 

esilia olevan keksinnon kohleena on myds oheisen patenttivaatimuk- 
sen 14 johdanto-osassa eeitetty jarjeetelma. Nyt esilla olevan keksin- 
non kohleena on lisAksi oheisen patenttivaatimuksen 17 johdanto- 
osassa esitetty iaite, oheisen patenttivaatimuksen 24 johdanto-osassa 
10 esitetty tallennusveMine sekel oheisen patenttivaatimuksen 27 iohdanto- 
osassa esitetty tietokoneohjeimatuote. 

Uigitaalikuvien tallentamisvallneilla, kuten digitaalikameroilla, 
kamerapuhelimilla tai muilla, vain yhdella CMOS- (Complementary 
15 Metal-Oxide Semiconductor) tai yhdella CUD- (Charge Coupled 

Device) kennolla varustetuiHa, kameroilia otetut kuvat eivat sisalla 
jokaiselle kuva-alkfolle (pikseli, pixel) kaikkia varikomponenttiarvoja. 
Koaka kuvasensorien maara on ratkaiseva laitteen hinnan ja koon 
suhteen, on selva, etta pjenemmissA laittelssa (kamerapuhelimet) 
20 pyritaan kayttamaan vain yhta kuvasensoria, jolloin kuvan 

muorinstamisessa tarvitaan n$. varimatriisia (Color Filter Array, CFA), 
kuten osimerkiksi Bayerin matriisia, 

Bayerin matriisi on suosittu varimalli, josoa kuooakin piksclissa 
25 naytteistetaan vain yksi vSrl, rnikS aiheuttaa sen. etta kustakin 

pikselista puuttuu virijarjestelman muut varit Esimerkiksi RGB- 
varijanestelmassa (Red, Green, Blue) Bayerin malriisissa puuleL 
pikselelsta muodostavat vihrein vArikomponentin, ja toinen puoli 
pikseleista muodostaa sinisen ja punaisen varikomponenlin ja kuslakin 
30 pikselista puuttuvat muiden varisavyjen arvot Tama luo tarpeen 

interpoloida puuttuvat varin&ylleel, jolla kuva voidaan tallentaa 
taydellisessa muodossaan. 

Tekstlssa varelhln viitattaessa kaytet&an tunnettua KGB- 
35 varijarjostolmfia, joka maarfttaa vfirin punaisen (R, Red), vihre&n (G, 
Green) ja sinisen (B, Blue) vSlisen suhteen avulla. On kuitenkin selva, 
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etta varikomponentti voidaan kuvata myos CMY-varpnestelmaila 
(Cyan-Mayenta-Yelluw), jossa vari muodostetaan syaani- (C), 
magenta- (M)- ja keitaisuus- (Y) arvoilla. Varijarjestelma voi olla myos 
jokin muu vastaava. 

5 

Bayerin matriisimuotoisen kuvan rnuuntaminen RGB-kuvaksi vaatii 
kussakin pikselissa olevien puuttuvien variarvojen interpolointia. 
Esimerkkina interpoloirrtimenetelmasta voidaan mainita l&himpia 
naapuripikselelta hyddyntava interpolointimenetelma (Nearest 
10 Neighbour Method), jossa esimerkiksi puuttuvien sinisen ja punaisen 
vann interpolointi suoritetaan lahimman samanvarisen naapuripikselin 
rhukaan, seka bilineaarinen interpolointi, iota on parannettu siten, etta 
G:ri interpolointia ohjataan toisten varikomponenttien avulla. Tama 
menetelma kuvataan esimerkkina seuraavaksi. Alla esitetaan nelja 
15 mahdoilista tiiannetta Bayerin matriisin varikomponenttien sijainnille: 



a) 






b) 
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Kun vihre&lle pikeelille G lasketaan puuttuvat R- ja B-arvot, kuten 
kuhdissa (a) ja (b), lasketaan kahden samanvarisen naapurin 
keskiarvot. Esimerkiksi kohdassa (a), sinieen komponentin B arvo 
25 vihreassci keskuspikselissa on vihrean pikselin G yla- ja aiapuolisten 
sinisten pikseleiden keskiarvo (B(G) = (Bl + B2) / 2). Vastaavasti 
punaisen komponentin R arvo vihre&ssS keskuspikselissa on vihrean G 
pikselin vierekkSisten punaisten R pikseleiden keskiarvo (R(G) = (R1 + 
R2)/2). . 

30 

Kohta (c) esittaa tapauksen, jossa sininen vari inteipoloidaan 
punaiseen R pikseliin. lallaisessa tilanteessa keskiarvo otetaan 
neljasta lahimmasta sinisesta B pikselista (B(R) = (B1 + B2 + B3 + B4) 
/ 4), Jotka sljaitsevat punaisen R pikselin nurkissa. Samaten, punaisen 
35 R komponentin arvo oiniscssli B pikselissa, kohta (d), saadaan 
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laskemaila sinister) B kulmapikseleiden keskiarvo (R(B) = (R1 +R2 + 
R3 + R4) / 4), 

Vihrea komponentti G voidaan interpoloida kayttamalla lahimpia 
5 naapuripareja. Alla on esitetty kaksi tapausta vihrean komponentln G 
interpoloinnille. 



a) R1 
G1 

R4 G4 R G2 R2 
G3 
R3 

10 



b) B1 

G1 

B4 G4 B G2 B2 
G3 
B3 



Kohcfassa (a) vihreSn komponenlin G arvo interpoloidaan punaiselle 
pikselille R. Vihrean komponentln G arvo on taten: 



15 G(R) = (G1+G3) / 2 , jos abs(R1 - R3) < abs(R2 - R4), 

(G2+G4) / 2 , jos abs(R1 - R3) > abs(R2 - R4), 
(G1+G2+G3+G4) / 4 , jos abs(R1 - R3) = abs(R2 - R4). 

Toisin sanoen, interpoloinnissa huomioidaan punaisen komponentin R 
20 vaikutus. Jos R1 ja R3 valinen erotus on pienempi kuin R2 ja R4 
erotus, havajtaan, etta punainen R on vahvempl pystysuunnassa, 
jolloin interpoloinnissa k&ytet&&n pystysuuntaisten naapurien G1 ja G3 
keskiarvoa halutun arvon laskemisessa. Jos taas horisontaalinen 
vahvuus on suurempi, kaytetaan vierekkaisiS naapurerta vaataavasti. 
25 Jos punalsta on Kaunaaltaan samassa suhteessa, kaytetaan kaikkia 
neljaa naapuria. Sinisen varikomponentin B yhteydessa kohdassa (b) 
laskenta suorftetaan vastaavasti. 



US patentlijulkaisu 5,247,352 esittaa menetelman varikuvan 
30 teravoittamlseksi. Menetelmassa teravoitys perustuu kolmiulotteiseen 
variavaruuteen, esimerttksi Munsellin varikarttaan. Julkaisussa 
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esitetaan useita kytkintiloja, joilla maaritellaan vSrlerosignaalien ja 
ainakiu kahden leravoilyssignaalin summa. Kytkintilat asetetaan 
varikoordinaattijarjestelman avulla. Jarjestelma kertoo pikselien 
variarvojen perusteella pikselien sijainnit. Kytkinten asennot perustuvat 
5 sijainfrtietoon. Kytkinten valittaman tledon perusteella julkaisun lalte 
osaa yhdistaa halutut terivoityssignaalit varierosignaaleihin. Nfiin kuva 
saadaan teravoitettya. Jotta kuvan teravoitys olisl mahdollisimman 
laadukas, tulee teravia signaaleja olla vShintSan kaksi, punainen ja 
vihnea. Toisin sanoen, julkaisun menetelmassa saadetaan tolsen ja 
10 kolmannen varikomponenttien suodatusta variavaruudesta saadun 
an/on perusteella. 

Interpololnnin jalkeen kaikkl varikomponentlt tulee terAvelitaa, mika 
aiheuttaa kuvankasittelyyn kolminkertaista tyota, mika taas vaatii paljon 
15 kasittelytehoa suorittavalta JarjestelmaJta, Nyt esilla olfiva keksintft 
parantaa tekniikan tasoa siten, etta muita varikomponcnttcja 
suodatetaan yhden vSrlkomponentln suodatustulosta 
hyvakslkayttamalla. Tunnetun tekniikan mukaisissa menetelmissa eri 
komponentelssa suodatus vor aiheuttaa erl valkutuksla, jolloin kuvan 
20 vareihin voi ilmestya vaaristymia. Lisaksi tunnetuissa 
teravoitysfunktioissa voi tulla vastaan kahdenlalsla el-tolvottuja ilmiOita, 
kuten kohinan lisaantymista ja, erityisesti reunojen lahella, reunan 
liiallista Leravuittamista. Tama taas aiheuttaa ylitysvarahtelya (ringing), 
joka ilmenee esimerkiksi mustan viivan ilmestymisenS valkoisen viivan 
25 yhteyteen. 

Nyt esilla olevan keksinnon tarkoituksena on helpottaa 
kuvankasittelyssa ilmenevia ongelmia sitomalja interpolointi i ja 
teravoittSminen toisiinsa siten, etta ensimmaisen varikomponentin 
30 Teravoityssuodatuksen vaikutusta kaytetaan ohjaamaan seuraavien 
varikomponenttien teravoftysta. Keksinnon mukaisessa menetelmassa 
interpnlniriaan ensin yksi varikomponentti ja teravoitetaan tama 
interpoloitu varikomponentti. Taman jalkeen tutkitaan teravoltyksen 
vaikutusta Interpololtuun kuvaan vahentamana kustakin teravdltetyn 
35 kuvan pik6elista vastaava tordvoittamattoman kuvan pikocli. Mikall 
leravoinnin vaikutus ensimmaisen komponentln kohdalla on ollut 
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merkittSvan suuri tiotyssa pikselissa, suoritetaan teravoitys toiselle tai 
kolmannelle varlkomponentllle, mikali tfillainen on kyseisessa 
kohdassa. Jos vaikutus on jaanyt pienemmaksi, mahdollinen toisen tal 
knlmannen varikumpunerilin pikseli sailytetaan muuttumattomana. 

5 Tatcn toison ja kolmannen varikomponentin alkuperaiset pikselit on 
tarvittavln osin terSvOitetLy jo ennen naiden vSrikomponenttien 
intorpolointia. Suodattamisesea voidaan kayttaa. mita tahansa tunnetun 
teknilkan mukaista suudalusmaskia. Kuitenkin edullisin lopputulos 
eaavutetaan kayttama|la sellaista adaptiivista teravoityssuodinta, joka 
10 kasillelee vain niila pikseleiia. jotka ovat aitoja reunapikseleita, jolloin 
reunanvoimakkuutta voidaan kayttaa terSvoittamlsen ohjauksessa. 

Tasmallisemmin ilmaistuna nyt esilla olevan keksinnon mukaiselle 
menetelmalle on paaasiassa tunnusomaista se, mita on esitetty 
15 patenttivaatimuksen 1 tunnusmerkkiosassa. Keksinnon mukaiselle 
lariestelmaile on paaasiassa tunnusomaista se, mita on esitetty 
itsenaisen patenttivaatimuksen 14 tunnusmerkkiosassa. Keksinnon 
mukaiselle laitteelle on paaasiassa tunnusomaista se, mita on esitetty 
itsenaisen patenttivaatimuksen 1/ tunnusmerkkiosassa. Keksinnon 
20 mukaiselle tallennusvalineelle on paaasiassa tunnusomaista se, mita 
on esitetty itsenaisen patenttivaatimuksen 74 tunnusmerkkiosassa. 
Keksinnon mukaiselle tietokoneohjelmatuotteelle on pOOasiassa 
tunnusomaista se, mika on esitetty itsenaisen patenttivaatimuksen 27 . 
tunnusmerkkiosassa. 

25 

Keksinnon mukaisella monotolmaila, jossa limitot&an interpolointi seka 
teravoillaminen, saadaari laskeririari vaatirnaa leliua vahennellya 
kuvan laadun kuitenkaan karsimatta. keksinnon mukaisella 

menetelmaliS voidaan jopa saavullaa parernpi kuyanlaalu perinleiseen 
30 tapaan nahden, jossa koko kuvan teravoitys tehdaan vasta 
interpoloinnin jalkeen. 

Taman lisSksi keksinnossa kaytetty teravoitysmenetelrnS on 

itseadapto'ituva, joiloin srta ei kayteta tasaisten kuva-alueiden 
35 ter&voittamiseen, mika taas laskee kuvaan syntyvan kohinan maaraa. 
LlsOksi keksinnOn mukaisella menetelmaiia terSvfiltystehoja rajoitetaan 
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selkeiden reijnojen lahell§, joljoin estetaan yliteravoittamlsen 
aiheuttama ylivSrahtely. Tama tekee kuvaala miellyllavamman katsella. 

Lisaksi keksiniiossa kayletyn teravoityssuodinikkunan koko (3x3) 
5 valkuttaa muistikuormitukseen edulliseeti, koska useita matriisiriveja ei 
Laivilse sailyllaii lailleessa, kulen tekniikan tason menetelmissa. 
Edelleen suodinikkunan koko vahontaa kasittelyssa tarvittavaa 
raskasta laskeptaa, silla menetelma perustuu paaasiassa eri valintojen 
tekemiseen. 

10 

Nyt esilla olevaa keksirrtoa kuvataan tarkemmin viitaten seuraavlin 
kuviin, joissa ; 

kuva 1 esfttaa keksinnon mukaista kasittelyjarjestystei Bayerin 

1b matriisikuvan interpoloimisessa ja teravoittamisessa, 

: 

kuva 2 estttaa keksinnon mukaisen teravaitysmenetelman 
perusperiaatetia, 

20 kuvat 3a-d esittavat 3x3 pikselin kokoiaen n&ytteen horisontaali-, 
vertikaall- seka dlagonaallsuuntla, 

kuvat 4a-e esittavat kekslnnfln mukalsessa gradlenttilaskennassa 
ilmenevia mielenkiintoisia eeimerkkftapauksia, ja 

kuva 5 ssittM yhta edullista suorituemuotoa keksinnon mukaiselle 
kuvank^sittelyjarjestelmalle. 

| .• : ; . ; • ■ . . . ... 

Kuva 1 esittSa keksinnon mukaisen menetelman tolmintakulkua 
Bayerin matriisikuvan interpoloirriiseksi ja teravoittamiseksi. Lohko 1 
kasittaa kuvan interpoloinnin ensimmaisen varikomponentin G osalta 
tayriella resoluutiolla tunnetusti. Ensimmainen varikomponentti G on 
edujlisesti vihrea johtuen Bayerin matriisissa olevien vihreiden 
plkselelden mSflrOsta swhtaessa sinisTen ja punaisten pikseleiden 
maaraan (G:B:R 2:1:1). Jog pikGcIcidcn mOarOt olisivat kuvatusta 
poikkeavat, tulisi ensimmaiseksl vSrlks! vallta se varikomponentti, Jolla 
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on pikseleita eniten taj komponentti, jonka muutos vaikuttaa eniten 
luminanssiin. Kun kuvan interpolointi on suoritettu, teravoitetaan sita 
vastaavasti ensimmaisen varikomponentin G osatta kuten lohkosta 2 
nahdaan. 

5 

Lohkossa 3 suoritetaan kuvalle tolsen R ja kolmannen B 
varikomponentin teravoitys. Aluksi verrataan ensimmaiselle 
varikomponentille G tehdyn teravdityksen vaikutusta irrterpoloituun 
varikomponenttiin G. Jos tama vaikutus (absjTeravditetty — 
10 Teravoittamatonj) on huomattava, teravoitetaan vastaavan palkan 2. tai 
3 varlkomponennl kdyttaen ensimmaisen varikomponentin 

teravoittamisen aiheuttamaa muutosta sinallaan tai suhteutettuna 
ymparfilvlen pikseliaivojen muutokslin. Jos vaikutus on plenl, 
tordvoittamista ci tchda. 

15 

Lohkossa 4 suoritetaan tolsen ja kolmannen varikomponentin 

interpolointi. Kuvatusta prosessista saadaan aikaan interpnlnitu ja 
tordvditetty kolmivarikuva (lohko 5). 

20 Teravoitysprooossia (lohkot 2 ja 3, kuvassa 1) kuvataan ccuraavassa 
larktJinmiii. Kuien mainittu. ensImmSisen varikomponentin 

teravoittamlnen aloitetaan heti kyseisen komponentin interpoloinnin 
jalkeen. Taman jdlkeen keksiririOn rnukaisesti suoritetaan Larvillaessa 
toisen ja kolmannen varikomponentin terdvoittaminen. 

25 

Kuva 2 esittdd perusperiaatteen teravoittamisalgoritmista. 

Ensimm&iseksi lasketaan ensimmaiselle varikomponentille G toisen 
asteen gradientit (Laplacian), joiden avulla voidaan tarkkailla 
varikomponenttiin kohdistuvaa muutosta ja rnuutoksen Voimakkuutta, 
30 joiden avulla aidot reunapikselit voidaan havaita. Laskenta voidaan 
eduilisesti toteuttaa laskemalla gradientit neljassa eri suunnassa 3x3 
plkselin kokoisessa naytteessa (Kuva 3). Suunnat ovat 

kcskuspikselista O horisontaali (3a), vertikaali (3b) seka 

diagonaaiisuunnal (NWSE = luode-kaakko, 3n; NF.SW = lounas- 
35 koillinen, 3d). Gradierrttilaskennassa ensin summataan kaksi ulointa 
pikseliarvoa (D. E; B, G; A, H; C, F) mdaratyssa suunnassa toisilnsa. 
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jonka jalkeen summa vahennetaan alkupcraisesta pikseliarvosta O, 
joka on kerrottu kahdella. Nam tehrisan jokalsessa suunnassa, saaden 
gradients kullekin suunnalle: 

GradHor = 2 * O - (D + E) (lai GradHor = 2 * O - D - E) 
GradVer = 2 * O - (B + G) (tai GradVer -2‘O-B-G) 
GradNWSE = 0,75 *(2*0 (A + H)) 

(tai GradNWSE ~ 0,75 * (2 * O - A — H)) 

GradNESW = 0,75 * (2 * O - (C + F)) 

(tal GradNESW = 0,75 * (2 * O - C - F)) 

Koska muutokset ovat tavallisesli ihmishavainnoHsijalle 
merkityksellisempia horisontaali- ja vertikaalisuunnissa, vinosuuntaisia 
gradientteja vaimennetaan kertomalla ne lukua yksi pienemmalla 
15 vakioiia. Lisaksi on huomioitava, etta diagonaalisuunnissa 

vierekkaisten pikseleiden etaisyys on suurempi kuin horisontaali- ja 
vertikaalisuunnissa. Etaisyyksien suhde on tasmailisesti 1/V2 «0.71 . 

Edella mainituista syista GradNWSb:n ja GradNESW:n laskennassa 
20 kaytetaan kerrointa 0,75, joka oh laskenhallisesti eduilisempi kuiri 0.71. 
Tama arvo voi olla myos jokin muu, edullisesti lukua yksi pienempi, 
arvo, jolloin suositaan joko horisontaali- tai vertikaallsuunnan valirrtaa. 

Lasketuista gradienteista etsitaan minimi- ja maksimiarvot, joista 
25 valltaan Itseisarvoltaan suurempi, Ja merkltaan se tp. Pienempi 

merkitMn T1. EnaimmSiaen varikompo n e nti n terSvoityafunktio 

perustuu naiden arvojen suhteeseen. T2 kuvaa suurinta muutosta, ja 
T1 pienlnta muutosta. Naiden lukujen suhde kcrtoo, kuinka 
merkityksellinen muutos on tapahtunut. Lisaksi tallennetaan tieto 
30 itseisarvoltaan suuremman gradiontjn (T2) etumerkista (sign). 

Gradienttien tarkastelueea voidaan havaita viiei mielenkiintoieta 
lapausla leritaOiLLamisen uhjaamiseksi. Esimerkil naisl& lapauksisla 
esrtetaSn kuvissa 4a — 4e . 

35 

Kuva 4a: Kaikki gradientbarvot ovat negatiivfsia. 
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Plenin gradienttiarvo vastaa suurinta muutosta, 
ts. sill3. on suurin Itseisarvo. 

Gradientit jakautuvat O-akselin molemmiile 
puolille siten, etta itseisarvoltaan suurin 
gradienttl on negatiivisella puolella. Tasta 
seuraa se, etta pienin gradienttiluku esittaa 
suurinta muuto 3 ta. 

Gradientit jakautuvat O-akselin molemmiile 
puolille siten, etta Itseisarvoltaan suurin 
gradientti on positiivisella puolella. Suurin 
gradienttl vastaa tfissa suurinta muutosta. 

15 Kuva4d: Kaikki gradienttiarvot on positiivisella puolella. 

Suurin gradienttiarvo esittaa suurinta muutosta. 

Kuva 4e: Kaikki gradienttiarvot ovat 0, jolloin kuva-alue on 

vakio. eika leravOiliamisla larvila. 

20 

varikomponentin teravOittamlnen ohjauluu nuiuloslen perusleella, 
siten, etta mikaii itseisarvoltaan suurin gradientti (T2) ei ole tarpeeksl 
suuri (edullisesti T2 < 2, kun kaytetaan varikomponentille 8-bittista 
esitysmuotoa), jolloin kuva-alue ei sisalla selvia reunoja, ja 
25 tcravoittamista ei tarvita. Muussa tapauksessa gradienttien 
Itselsarvojen suhde (ratio) lasketaan (ratio = 77/ 72). Taman suhteen 
pohmcntamiseksi voidaan lls&ksi molempiin gradienttiarvoihin T1, T2 
llsata vaklnarvo (constl. consp/), jolloin muodostuu yhtalo: 

30 ratio = [ T1 (+ constl)] /[TP (+ constP)] 

Edellisessa yhtalossa kaytetyt vakiot voivat olla keskenaan erisuuria tai 
yhtasuuria. Ku van m uodostuetavan tai muu kuvan ominaisuuksiin 
liittyvan seikan takia saallaa olla tarpeen kayttaa erisuuria vaklolta, 
3b mutta tyypiliisimmin nama vakiot ovat yhtasuuria. On myds mahdollista. 



Kuva 4b: 
5 



1 0 Kuva 4c: 
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etta luvut ovat vakioita vain tietylla kuvan alueella, oli ett§ eri kuvan 
alueilla kaytetaan erilaisja vakioarvoja. 

Vakioarvot (constl, const2) oval pienia, edulllsesti vaikkapa 3 lai ioku 
5 muu luku l:n ja 10:n valilla. Laskettua auhdetta (ratio) verrataan 
kahteen aiemmin maariteltyyn raja-arvoon, Slim I, Slim2. Aivol 
kyseisille muuttujille ovat sopivimmin Slim2 = 0,8 ja Sliml - 0,3. Arvot 
voivat olia myos muut luvut, jollla mahriollislmman hyva ulostulukuvan 
laatu saadaan mahdollisimman yksinkcrtaiscoti, eeimerkiksi Sliml = 
10 o,i-o,b ja Slim2 = 0,5 -1,0. Mlta vahemmSn ratten arvoja osuu raja- 
arvojen valiin, srta nopeammin pikodiri orvo saadaan laskettua. 
Nopeuden kannalta on edullista, etta Slim2 on mahdollisirrirnari pieni. 

TeravOlttamista ei tarvita, jus muutossuhde (ratio) on suurempi tai 
15 yht&suun kuin toinon raja-arvo (Slim2) (ratio £ SlimS). Talloin kuvan 
paikassa vol alia kohinaa, jolloin yradienlLiarvot T1. T2 ovat 
samanmerkkiset ja l&hcs yhta suurct. Toinen vaihtoehto on, etta 
gradienttiarvot T1, T2 ovat erimerkkiset, rnulla ilseisarvoltaan IShes 
yhta euuret, jolloin tQr&vdittamisen suuntaa ei voida arvata. 
20 Kummassakin tapauksessa ter&vOiliaihinen kannattaa jattaS 
toteuttamatta. 

Jos muutossuhde (ratio) on piertempl tai yhtslsuuri kuin ensimmainen 
raja-arvo (Sliml) (ratio < Sliml), voidaan olettaa, etta kyseiset pikselit 
25 ovat aitoja reunapikseleita, jolloin kaytetaan maksimiteravoittamistS. 
Teravoitys (sharp) toteutetaan kertomaila suurln gradienttiarvo T2 
vahvistuksella (gain), jonka arvo on rnaaratty etukateen ja on aduilisesti 
gain - 0,6, Vahvistusluku (gain) vpi olla rnyds jokin muu arvo. 
Vahvistusluvun (gain) tarkoittiksena on korostaa edailean selkaitft 
30 reunoja. Teravdrtysfunktio (sharp) saadaan nain muotoon: 

sharp = 0 + sign * T2 *gain 

Jos muutossuhde (ratio) asottuu raja-arvojcn valiin (Slim2 > ratio > 
35 Sliml ) s^adetSSn leravoilysfunkliola painokertolmella (weight). 
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Painokerroln lasketaan kertomalla toisen raja-arvon (Slim2) ja 
yradientlisuhteen (ratio) erulus raja-arvoisla liippuvalla vaklolla coeff. 



b 



coeff — •, is 

JJ SlimZ-SUml 



weight = coeff * (Slim2 — ratio) 



RaJa-arvo|en ( Siiml , Slim2) valilla painokerroln (weight) picncncc 
iineaarlsefitl ykkosesta nnllaan suhrielnvun kasvaessa. Tasta syysta 
10 polnokortoimon laskonta muodoetuu mahdollisimman helpoksi, kun 
raja-arvot on valittu Slim2 = 0,8 ja Siiml = 0,3. jolloin coeff=2. Raja- 
arvojon tuloo olla hyvin lahclla naita arvoja, jottoi tcravoinnin vaikutus 
plenene lilkaa. tai jottei vSSria pikselelta terdvOitata. Painulallu 
toravottysfunktio on tdlloin: 

15 

sharp = O + sign * (weight * T2) * gain 
Jos leravOilys funk lion arvo (sharp) aruaa alkuparEisasia 
keskipiksellarvosta (O), tehdaan lopputarkastus. Teravoitysfunktion 
muutosehdotuksen (abs(sharp - O)) ollessa suurempi kujn sallittu 
20 aikaisemmin madriteity teravoitysrajottin (ov&r), voidaan ulostulevaa 
arvoa rajoittaa, toisiri sanoen estetaan yliteravoittaminen. 
Teravoitysrajoittimen (over) arvo on edullisesti 40 (8-bittisessa 
jarjestelmassa), mutta se voi olla myds jokin muu luku katsojan 
mleltymysten mukaisesti. Jos etumerkki (sign) on negatiivinen, ulostulo 
25 (sharp) el voi olla pienempi kuin pikseliarvoltaan pienln valitussa 
ter3vfiityssuunnassa (Min(x. O, y), jossa x ja y valitun suunnan 
reunimmaiset pikselit suodatusikkunan keskipikselin O ymparistSssS), 
Josta on vahennetty teravditysrajoittimen arvo (over). Jos taas 
etumerkki (sign) on positiivinen, ulostulo ei voi olla suurempi kuin 
30 plkselfilsta sinirin valitussa teravoityssuunnassa (Max(x, O, y), x ja y 
kuten cdclla), johon on lisatty teravoitysrajoittimen arvo (over). Alla 
oleva taulukku esiliaa otijausarvon seka Inpullisen teravOitysulostulon 
(final) sen jalkeen, kun valittu teravdityssuunta on tarkastettu. 



35 



« * 
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Suurimman 
muutoksen suunta 
IDLC\ 


DLC:n etumerkki 

(Sign) 


Ohjausarvo (CWO 


Lopullinen uiostulo 

(final) 


Hortsontaall 


neaatiivinen 


Min(D.O.E) -ovnr 


Max(ftharp, c;W) 


Horisontaaii 


posftilvinen 


Max(D.O.E) + over 


Mfnfsharp, CW) 


VertikaaO 


neaatilvinen 


Min(B.O.G) - over 


Maxfsharp, CW) 


Verlikaafl 


pusiliivln&n 


McW(B.O,6) + over 


Minfchaip, CW) 


NW-SE 


negatOvinon 


Min (A.O.H) - over 


Max(sharp, CW) 


NW-SE 


ppsUfivinen . _ : 


Max (A.O.H) +over 


Minfshaiu. CW) 


NE-SW 


negatiivinon 


Min(C,0,F) - over 


Max(Eharp. CW) 


NE-SW 


Dosltiivinen 


Maxcc.o.n + over 


Mlnfsharo. CW) 



Taulukosta voidaan havaita, etta lopullinen tercivoitysulostulo (final) on 
joko ohjausarvo (CW) tal teravoitystunktion (sharp) arvo. Max(sharp, 
CW) tarkoittaa, etta lopullinen uiostulo on joko ohjausarvo (CW) tai 
5 teravoitystunktion (sharp) arvo, riippuen kumpi on suurempi. 
Vastaavasti Min(sharp, CW) tarkoittaa, etta lopullinen uiostulo on joko 
ohjausarvo (CW) tai teravoitystunktion (sharp) arvo, riippuen kumpi on 
pienempi. 

10 EdellS esitetyt raja-arvot Sliml ja Slim2 eivat muutu varij&rjestelman 
arvoalueen muuttuessa esim. 8-brttisesta 16-bittiseksi. Sen sijaan 
teravoitysrajoittimen arvo over kertaantuu bittima&ran mukaisesti siten, 
etta esim. varijarjestelman arvoalueen muuttuessa 8:sta 1 0-blttlseksl 
ovcr(10) - over(8) x 2 (IM) . 

15 

Mikaji tertvditetyn ensimmaisen vdrin piksolin kohdalla on toinon tai 
kolmas yartaivo, teravOitetaan kyselnen tolsen tal kolmannen varln 
pikeeli vastaavasti. Lopullinen ensimmaiscn v&rikomponontin 
terSvortyksesta aiheutunut pikseliarvuri muulus (final-O) lisataari 

20 suoraan teravoitettavaan varikomponenttiin (rb), jos ensimmaisen varin 
pikseliarvo|en erotus ennen teravoittamista. O. ja teravdittamisen 
Jalkeen, final, on pieni (abs( final — O) <2, (8-bit)): 

rb' = rb + (final - O). 
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Jos erotus ensimmaisen varin pikselissa ennen teravdittamista, O, ja 
teravoittamisen jalkeen, final, on riittavan suuri (ahsffinal — O) > 2, (8- 
bit)), niin teravointi auhteutetaan ymparoivien pikseliarvojen maksimin 
5 ja minimin erotukseen. 



Suhteutetussa teravoinnissa menetellaan seuraavasti. Oletetaan 
seuraava maski, jossa on kuvattu kaikki olemassaolcvat pikselipaikat. 



a 


b 


c d 


e 


f 


g 


h i 


j 


k 


i 


m n 


0 


P 


q 


r s 


t 


u 


V 


X y 


z 


Oletetaan, etta m on 


tarkastelussa olevan pikselln paikka, johon 



teravoitys on tehty enslmmaiselle varille Ja jossa on toinen tai kolmas 
van. Otetaan paikan m ymparilta lahlmmat saman varistcn (toieon tai 
kolmannen varln) pisteiden paikat horlsontaall- Ja vertikaalisuunnassa. 
1 5 Talldin saadaan pisteet c, x, k ja o. Naista loydetyista paikoista c, x, k 

Ja o etsitaan pikseliarvoltaan pienin minC ja suurin maxC pikseliarvo. 
Vastaavista paikoista tarkistotaan my6s oneimmaisen varikomponentin 
irilerpuloinnin jaikeiset pikseliarvot (ennen teravOinlia), joisla myds 
etsitaan pikseliarvoltaan pienin mini ja suurin maxi arvo. Jos 
20 alkuperaisen kuvan toisen tai kolmannen varikomponentin [rb) 
pikseliarvojen erotus [maxC mihC) on pienempi kuln interpoloidun 
kuvan ensimmaisen varikomponentin vastaavien pikseliarvojen erotus 
{maxi - mini) [{maxC - mihC) < {maxi - mini)) kaytetaan 
teravoittamisessa kaavaa: 

25 



rb’= rb + { final -O) 



. maxC — min C add 
max 1 rnin 1 I add 



jossa add on suhteen pehmennysvakio, edullisesti 3 8-b'rttisessa 
jarjestelmassa. Muuten kaytetaan edella kuvattua kaavaa: 
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rb’ = fto + (final - O). 

Kun tarvitut plkselipaikat on kayty lapi teravorttaen halutut 
5 varikomponentit, suoritetaan tolsen ja kolmannen varikomponentin 

interpolointl. 

Eii paikoissa (joissa ei ole alunperln toisla tai kolmatta 
varikomponenttia (R/B)) sijaitsevlen tolsen (R) ja kolmannen (B) 
10 varlkomponenttlen pikselelden teravoitys tapahtuu automaattlsestl 

viimeisen interpotnlnnin yhteyriessa kaytettaessa Laplacian2- 
operaatioon peruatuvaa interpolointia, eaimerkiksi sellaista, jota 
kuvataan patenttljulkalsussa US5506619. Julkalsun menetelmassa 
interpoloidusta ensimmaisestS. varikomponentista G lasketaan toisen 
15 asteen Laplacian-korjausarvo D, joka vShennetS&n tai lisata&n toisen 
tai kolmannen oli punaisen R tai sinisen B varikomponentin pik6eliin. 
T&lert kyseisia Mela lai kolrnatta varikumpunenltia ei larvitse enaa 
teravofttaa erlkseen. 

20 Edelld kuvattu keksinnon mukainen menetelma kuvan kasittelemisekei 
voidaan esill&a seuraavalla pseudokoodilla: 

Enstimnatsen varikomponentin tertivOlttaminen 
GradHor = 2 * O - (D + E); 

GradVer - 2 * O - (B + G); 

25 GradNWSE = 0,75 * (2 * O - (A + H)>; 

QradNESW = 0,75 * (2 * O - (C + F)); 

MinGrad = Mln(GradHor, GradVer, GradNWSE, GrandNESW); 
MaxGrad = Max(GradHor, GradVer, GradNWSE, GrandNESW); 

30 Joa (abs(MinGrad) > abs (MaxGrad)) niin 
72 = abs(MinGrad); 

T1 = abs(MaxGrad); 

Sign = MinGrad/abs(MinGrad); 

muuten 

35 T2 = abs(MaxGrad); 

T1 = abs(MlnGrad); 
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Sign =. Maxtirari/ahs(MaxGrarJ); 

Jos (T? > ?) nfin : 

ratio = ;(T1 + const) / (T2 + const); 

Jos (ratio > Slim?) niin 
sharp = O; 

Jos taas (ratio < Sllml) nlln 

sharp = O + sign T T2* gain; 

muuten 

woight = cooff * (Slim2 ratio); 
sharp = O + sign * (weight * T2) *gain; 
missa ; Slim2 = 0,3; 

Slirnl = 0.3; 
gain = 0,6; 

coeff = 2 (1/(Slim2-Slim1)) 

Jos (abs(sharp - O)) > over niin 
Jos (sign < 0) niin 

CW = Min(x, O, y) - over 
final = Maxfsharp, GW) 

muuten 

CW = Max(x, O, y) + over 
final = Min(sharp, CW) 

missa pikselit x ja y maaraytyvat valitun suunnan 
mukaisesti suodatuslkkunan keskuspisteen O 
ymparilta 



muuten 



muuten 



final « O; 



final = sharp; 



Toieen tai koimannen varikomponentin originaalipiksclcidcn 
teravorttaminen . 



Jos edella teravditetyn ensimmaisen varikomponentin pisteen O 
35 paikassa on toisen tai koimannen varikomponentin pikseli niin 
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rb s toisen tai kolmannen varikomponentin arvo edella 
teravoitetyn ensimmaisen varikomponentin pisteen O 
paikassa; 

Jos (abs(final O)) < 2 niin 
5 rb‘ = rb + (final - O); 



10 



15 



20 



25 



muuten // suhteutettu teravointi 

Jos ((maxC - minC) < (maxi - mini)) niin 

rb’ *s c + (final - O) * ((maxC - minC 
+ add) / (maxi mini + add)) 



missa add = 3 

rniriC = Min (OriNeigboursC(rb)) 
maxC = Max (OriNoigboursC(rb)) 
mini = Min(lnlMeigboura1(rb)) 
maxi = Min(lntNeigbours1 (rt>) 

OriNeigboursC = lahlmplen (c,x,k,o) 
toisen/kolmannen varikomponentin 

originaalipikselien arvot 

IntNeigboursI - lahimpien (c,x,k,o) 
ensimmaisen varikomponentin interpoloitujen 
pikselien arvot 

muuten 

rb’ - rb + (final - O). 



Edella kuvattu keksinnon mukainen kuvan teravoitysmenetelma 
voidaan toteuttaa kuvankaslttelyjarjesTelmalla, joka esitetaan kuvassa 
5. Kuvaava laitc C (kamera tai vastaava) tuottaa 

30 kuvan kiisillelyjariestelmSan Bayerin matrUsIkuvan I. Matrfisikuva I 
jaetaan variorottoluykoikossa S kolmeksi varikomponentiksi, joita 
kuvaaval siynaaJIt R, G, B. Eslmerklksi slgnaali G vastaa vihreaa 
varikomponenttia, Joka ohjatoan intorpolointlyksikkfion 1 kasiteltavfiksi, 
jolloin muodostuu slgnaali G1. Inlerpololtu signaali G1 teravoltetaan 
35 teravoitysyksikossa 2, josta muodostunutta signaalia G2 verrataan 
interpoloituun signaallin G1. Enotteluyksikon D antama poikkeama G3 
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signaaleista G2-G1 ohjataan tolseen teravoitysyksikkoon 3 yhdessa 
vOrisignaalien R, B kanssa. Varisignaalit R, B ovat edullisesti punainen 
ja sininen varikomponentti. Toisessa teravditysyksikossa suoritaiaan 
tarvittaessa mainittujen signaalien R, B ter&vOittaminen poikkeaman 
b G3 valkutuksella. Muodostuneet terSvoitetyt signaalit R1 , Bi ohjataan 
tOmOn jalkeen toiseen interpolointiyksikkdqn 4, jossa signaalit R1 , BI 
kasitellaan tuottaen aikaan interpoloidut signaalit R2, B2. Kyseisessa 
interpolointiykaikossa 4 tapahtuu automaattinen teravoitys 

lnterpo|oltaville varlplkse!ellle(Jolsta vlhrea varikomponentti G on 
10 puuttuniit). Kuvankasittelyjarjestelman ulostulona saadaan 

kolmivarikuva, jossa kukin varikomponentti on teravoitetty. 

Alan ammattilaiselle on selvSa, etta edella kuvattua keksintoa voidaan 
soveltaa muunkinlaisissa kuin Bayer-matriisia kayttavissa 
15 jarjestelmissa. Keksinnon mukaisesta menetelmasta saadaan etua 

sellaisissa jarjestelmissa, joissa kaikille pikseleille ei kerata kaikkia 
varikomponentteja. Esimerkkina laite, joka rekisteroi jokalselle pikselille 
intensiteettiarvon, mutta rekisteroi variarvoja vain osaile pikseleista. 
Keksinnon suorittamisen ja perustoiminnan kannalta ei ole 
20 merkityksellista se, rriilla tavaila varikomponentteja jaa joistakin 
pikseleista puuttumaan. Esimerkkina mainittakoon jokin 
heksagonaalinen varijarjestely, joka on helposti toteutettavissa 
keksintoa soveltamalla. 

Edella sanotun lisaksi on selvaa, etta varikomponentit voivat olla 
25 muitakin kuin vihrea G, punainen R ja sininen B. Keksintoa voidaan 
soveltaa esimerkiksi laitteissa, jotka rekisteroivat eri resoluutioilia mita 
tahansa kahta eri aailonpituutta olevaa sahkomagneettlsta satellya 
kuten valoa, infrapunasateilya, ultraviolettivaloa, tai jotakin 

lyhytaajtoisempaa sateilyO kuten gamma- tai rontgensateilya tai jotakin 
30 pitkOaaltoisempaa satellya kuten mikroaaltosateilya. Usaksi keksintoa 
voidaan soveltaa sellaisissa tapaukslssa, joissa teravOitettavat 
komponerrtrt on saatu yhdistelmana edella mainituista komponenteista. 
Nain ollen varikomponontti voi kuulua varijarjestel maan , joka on valittu 
edullisesti joukosta RGB, CMY, CMYK, HSI tai YUV. 

3b 
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KeksinnOn mukainen kuvankasmelyjarjestelma voidaan toteuttaa 
osana elektroniikkalaitetta, esimerkiksi digitaalisessa signaalikasittely- 
yksiknssa kamerassa tai muussa vastaavassa. Elektroniikkalaitteessa 
on tyypillisestl muitakin toimintoja, kutcn vaiincot kuvainformaation 
5 esittamiseksl kayttajaile seka prosessorl elekironlsen laitteen 
ohjaamiseksi. Keksinnon mukalsen kuvahkasittelyiaijestelman 
kasittava digitaalikamera voidaan edullisesti toteuttaa mobiililaitteen 
yhtoytocn, joko irralliscna yksikkfinaan tai laitteeseen sulautettuna, 
jossa mubiililailleasya on lisakyi valineel matkaviestinnan 
10 suorittamiseksi. Lisaksi keksinnon mukaisen kuvankasittelyjarjestelman 
kasitt&va digitaalikamera voi olla yhteydessa tietoliikenneverkkoon 
(esim. Internet), kuten WebCam. 

On selvaa, etta nyt esilla olevaa keksintoa ei ole rajoitettu ainoastaan 
15 edella esitettyyn suoritusmuotoon, vaan sita voidaan muunnella oheis- 
ten patenttivaatimusten puitteissa. 
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PATENTTI VAAT1 MUKSET: 

1. Menetelma varien teravoittamiseksi kuvassa, jossa on ainakin 
cnsimmaincn ]a toinon varikomponentti, ja ensimmaisen 
varikomponentin Hetoa kaslttavat plkselit sijaltsevat ainakin osittain eri 
paikoissa kuin toisen varikomponentin tietoa kasittavat pikseljt, jossa 

5 menetelmassa Interpoloidaan mainittua ensimmaista varikomponenttia 
ja mainittua toista varikomponenttia, seka teravoitataan ainakin 
mainittua ensimmaista varikomponenttia, tunnettu siita, etta mainitun 
ensimmaisen varikomponentin teravoittamisen perusteella ohjataan 
mainitun toisen varikomponentin teravoittamista. 

10 

2. Patenttivaatimuksen 1 mukainen menetelma, tunnettu siita, etta 
ensimmaisen varikomponentin teravolttamisessa 

- valitaan ainakin yksi raja-arvo (Slim2), 

- lasketaan ensimmaisen varikomponentin muutos ainakin 

15 kahdessa eri suunnassa, 

valitaan lasketulsta muutoksista itseisarvoltaan 
suurin muutosarvo (T2) kuvaamaan suurinta muutosta ja 
valitaan lasketulsta muutosarvoista itseisarvoltaan 
pienin muutosarvo (T1) kuvaamaan pienintfi muutosta, 

20 - maaritetaan itseisarvoltaan pienimman muutosarvon (T1) Ja 

itseisarvoltaan suurimman muutosarvon (T2) suhde, 
verrataan maaritettya itseisarvoltaan suurimman 
muutosarvon (T2) ja itsoiearvpKaan pienimman 
muutosarvon (T l ) suhdetta malnlttuun ainakin yhteen raja- 
25 arvoon (Slim2), jolloin vertaiiun tulosta kaytetaan ohjaamaan 

ensimmaisen varikomponentin teravoittamista. 

3. Patenttivaatimuksen 2 mukainen menetelma, tunnettu siita, etta 
teravoitetaan ensimmaista varikomponenttia, jos itseisarvoltaan 

30 pienimman muutosarvon (T1) ja itseisarvoltaan suurimman 
muutosarvon (T2) suhde on pienempi kuin mainittu raja-arvo (Slim2). 

4. Patenttivaatimuksen 1 mukainen menetelma, tunnettu siita, etta 
ensimmaisen varikomponentin teravofttamisessa 
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valitaan ainakin ensimmainen (Sliml) ja toinen raja-an/o (Sllm2). 
lasketaan ensimmaisen varikomponentin muutos ainakin 
kahdessa erl suunnassa, 

valitaan lasketuista muutoksista teoisarvoltaan 
sijurin muutnsarvo (TP) kuvaamaan snurinta muutosta Ja 
valitaan lasketuista muutosarvoista Hsoisarvoltaan 
plenin muutosarvo (T1) kuvaamaan planinta muutosta, 
maaritetaan itseisarvoltaan pienimman muutosarvon (Tl) ja 
itseisarvoltaan suurimman muutosarvon (T2) suhde, 
vcrratann mOaritcttyO Itseisarvoltaan suurimman 
muulosarvuri (T2) ja • itseisarvoltaan pitmimin&ri 
muutosarvon (Tl) suhdetta mainittuihin ensimmalseen (Sliml) ja 
toiseen raja-arvoon (Slim2), jolloin verlailujen tulosta kaytetaan 
ohjaamaan ensimmaisen varikomponentin teravoittamista. 

5. Patenttivaatimuksen 4 mukainen menetelma, tunnettu siita, etta 
mainittua vertailua kaytetaan • terSvOittamisen voimakkuuden 
maarittamisessa siten, etta 

mikSii suhde on pienempi kuin ensimmainen raja-arvo (Sliml), 
maksimoidaan teravOitys, 

mikSli suhde on ensimmaisen (Sliml) ja toisen raja- 
arvon (Slim2) maarlttamalia arvoalueella, kaytetaan maksimia 
pienempaa teravoittamista, ja 

muussa tapauksessa ensimmainen varlkomponentti jatetaan 
toravoittamatta. 

6. Jonkin patonttivaatimuksen 1 5 mukajnen menetelma, tunnettu 
siita, etta malnltun toisen varikompnnontin TerSvnittamlnen penistuu 
ensimmaisen varikomponentin tcravoittamisen chsimmaiseen 
varikomponeiilliin aiheuttaman muutoksen suuruuteen. 

7. Patentlivaatmiuksen 6 mukainen menetelma, tunnettu siita. etta 
maaritetaan vertailuarvo, ja etta mainittuun toisocn varikompononttiin 
lisataan ensimmaisen varikomponentin lei&vGilysaivu mainilun tuisen 
varikomponentin teravoitt&miseksi, mikali teravoittamisen 
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ensimmaiseen varikomponenttiin aiheuttaman muutoksen suuruus on 
pienempi tal yhtasuuri kuln maaratty vertailuarvo. 

8. Patenttivaatimuksen 6 tai 7 mukainen menetelma, tunnettu siitS, 
5 etta maaritetaan vertailuarvo, ja etta mainitun toisen varikomponentin 

teravdittaminen suhteutetaan ymparoiviin toisen varikomponentin 
pikseleihin, mikali teravoittamisen ensimmaiseen varikomponenttiin 
aiheuttaman muutoksen suuruus on suurempi kuin maaratty 
vertailuarvo. 

10 

9. Jonkin erielUsen paterrttivaati m i iksn n mukainen menetelmfl, 
tunnettu siita, ettfi menetelmaa kaytetaan ainakin kahden muun 
varikomponentin terSvftittflmiseen. 

15 10. Jonkin eriellisen patenttivaatimuksen mukainen menetelma, 

tunnettu siita, ottfi cnsimmflincn varikomponentti on sc, jolla on oniton 
pikseleiia ja/tai jolla on suurin vaikutus kuvan valotiheyteen. 

1 1. Jonkin edellisen patenttivaatimusten mukainen menetelma. 

20 tunnettu siita, etta vahvistctaan toravorttamista rounaa ilmaisevien 

pikseleiden kuhdalla. 

12. Jonkin edelia esilelyn patenttivaatimuksen mukainen menetelma, 
tunnettu siita, etta rajoitetaan teravoittamista, jos teravoittamisen 

25 aiheuttama muutos on maariteltya suurempi. 

13. Jonkin ©della esitetyn patenttivaatimusten mukainen menetelma, 
tunnettu siita, etta varikomponentti kuuluu varijanestelmaan, joka on 
vaiittu joukosta RGB, CMV, CMYK, MSI, YUV. 

no 

14. J&rjestelma varien teravoitt&miseksi kuvassa, jossa on ainakin 
ensimmainen ja toinen varikomponentti, ja ensimmaisen 
varikomponentin tietoa kaaittavat pikselit sijaitsevat ainakin osittain eri 
paikoissa kuin toisen varikomponentin tietoa kflslttavat pikselit, joka 

35 Jarjestelma kasittaS valineet mainitun eneimmateen varikomponentin 
sekS mainitun loisen varikomponentin interpoluimiseksi, seka valineet 
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mainltun ensimmaisen vankomponentin xeravoittamisen ohjaamlseksi, 
seka valineet teravdittamisen suorittamiseksi, tunnettu siita, etta 
jarjestelma kasittaa lisaksi valineet mainitun toisen varikomponentin 
teravdittamisen ohjaamiseksi mainitun ensimmaisen varikomponontin 
5 teravdittamisen perusteella. 

15. Patenttivaatfmuksen 14 mukainen jarjestelma, tunnettu siita. etta 
jarjestelma kasittaa lisaksl valineet 

ainakin yhden raja-arvon (Sllm2) valltsemiseksi, 

10 - ensimmaisen varikomponentin muutoksen laskemiseksi ainakin 

kahdessa eri suunnassa, 

- itseisarvoltaan suurimman muutosarvon (T2) ja itseisarvoltaan 
pienimman muutosarvon (Tl) valitsemiseksl laskeluisla 
muutoksista, 

15 - itseisarvoltaan pienimman muutosarvon (Tl) ja itseisarvoltaan 

suurimman muutosarvon (T2) suhtaan maarittamiseksi, 
maariLelyn itseisarvoltaan suurimman muutosarvon (T2) ja 
itseisarvoltaan pienimman muutosarvon (Tl) suhteen 
yertaamiseksi mainittuun ainakin yhteen raja-arvoon (Slim2). 
20 joiloin vertailun tuloe on jdrjestetty k&ytettavaksi ohjaamaan 

ensimmaisen varikomponentin teravoittamista. 

16. Patenttivaatimuksen 14 mukainen jariesteima, tunnettu siita, etta 
jarjestelma kasittaa lisaksl valineet 

25 - ainakin ensimmainen (Sliml) ja toinen raja-arvo (Slim2) 

valltsemiseksi, 

- ensimmaisen varikomponentin muutoksen laskemiseksi ainakin 
kahdessa eri suunnassa, 

lasketuista muutoksista itseisarvoltaan suurimman muutosarvon 
30 (T2) ja itseisarvoltaan pienimman muutosarvon (Tl) 

valitsemiseksl, 

ftselsarvoltaan pienimman muutosarvon (Tl) ja itseisarvoltaan 
suurimman muutosarvon (T2) suhteen maarittamiseksi, 
maaritetyn itseisarvoltaan suurimman rnuulusaivon (T2) ja 
35 itseisarvoltaan pienimman muutosarvon (Tl) suhteen 

vertaamiseksi mainittuihin ensimmaiseen (Sliml) ja toiseen raja- 
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arvnon (Slim?), jolloin vertailnn tulns on JSrjestetty kaytettavaksi 
ohjaamaan ensimmaisen varikomponentin terSvdittarnista. 

17. Laite kuvan muodostamiseksl, joka k&sittaa valineet varien 
teravfilttamiseksi kuvassa, jossa on alnakln enslmmainen ja toinen 
v&rikomponcntti, ja onsimmaiscn varikomponontin tietoa kasittavat 
plksellt sljaltsevat alnakln oslttaln erl palkoissa kuin toisen 
varikomponontin tietoa kasittavat piksolit, joka laite kasittaa valineet 
mainitun ensimmaisen varikomponentin seka mainilun Loisen 
varikomponentin intorpoloimisoksi, seka valinest mainitun 
ensimmaisen varikumpunenUri ter&vOilUlmisen uhjaamiseksi, ja 
valineet teravdittamisen euorittamieekei, tunnettu siitS, etta laite 
kasittaa lisaksi valineet mainitun loisen varikomponentin 
teravdittamisen ohjaamiseksi mainitun ensimmaisen varikomponentin 
teravOrttamisen perusteella. 

18. Patenttivaatimuksen 17 mukainen laite, tunnettu siita, etta laite 
kasittaa lisaksi valineet 

ainakin yhden raja-arvon (Slim2) valitsemiseksi, 
ensimmaisen varikomponentin muutoksen laskemiseksi ainakin 
kahdessa eri suunnassa, 

- Itseisarvoitaan siiurimman muutosarvon (T?) ja itseisarvoitaan 
pienimman muutosarvon (T 1 ) valitsemiseksi lasketuista 
muutokslsta, 

itseisarvoitaan pienimman muutosarvon (T1) ja itseisarvoitaan 
suurlmman muutosarvon (T?) suhtean maarlttamisaksl, 
maaritetyn itseisarvoitaan suurlmman muutosarvon (T2) ja 
itseisarvoitaan pienimman muutosarvon (T1 ) suhteen 
vertaamiseksi mainittuun ainakin yhtcen raja-arvoon (Slim2), 
jolloin vertailun lulos on jarjesLelly kiiyleUavaksi ohjaamaan 
ensimmaisen varikomponentin teravoittamista. 

19. Patenttivaatimuksen 17 mukainen laite, tunnettu siita, etta laite 
kasittaa lisaksi valineet 

ainakin ensimm&inen (Sliml) ja toinen raja-arvo (Slim2) 
valitsemiseksi, 
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ensimmaisen varikomponentin muutoksen laskemiseksi ainakin 
kahdessa eri suunnassa, 

lasketuista muutoksista itseisarvoltaan suurimman muutosarvon 
(T2) ja itseisarvoltaan pienimman muutosarvon (T1) 

b valitsemiseksi, 

itseisarvoltaan pienimman muutosarvon (T1) ja itseisarvoltaan 
suurimman muutosarvon (T2) suhteen maarittSmiseksi, 
maaritetyn itseisarvoltaan suurimman muutosarvon (T2) ja 
itseisarvoltaan pienimman muutosarvon (T1) suhteen 
10 vertaamiseksi mainittuihin ensimmaiseen (Sliml ) ja toiseen raja- 

arvoon (Slim2), jolioin vertailun tulos on jarjestetty kaytettavaksi 
ohjaamaan ensimmaieen varikomponentin teravoittamista. 

20. Patenttivaatimuksen 17, 18 tai 19 mukainen laite, tunnettu siita, 

15 etta laitteeseen on maaritetty vertailuarvo. ja etta mainitut valineet 

teravoittamisen suorittamiseksi kasittavat valineet ensimmaisen 

varikomponentin teravoitysarvon lisaamiseksi mainittuun toiseen 

varikomponenttiin mainitun toisen varikomponentin teravoittamiseksi, 
mikali teravoittamisen ensimmaiseen varikomponenttiin aiheuttarrian 
20 muutoksen suuruus on pienempi tai yht&suuri kuin m§ar&tty 

vertailuarvo. 

21. Jonkin patenttivaatimuksen 17—20 mukainen laite, tunnettu siita, 
etta laitteeseen on maaritetty vertailuarvo, ja etta mainitut valineet 

25 teravoittamisen suorittamiseksi kasittavat valinpot toiopn 

varikomponentin teravoittamisen suhteuttamiseksl ymparOlvlln toisen 
varikomponentin pikseleihin, mikali teravoittamisen ensimmaiseen 
varikomponenttiin aiheuttaman muutoksen suuruus on suurempi kuin 
mS&ratty vertailuarvo. 

30 

22. Jonkin patenttivaatimuksen 17—21 mukainen laite, tunnettu siita, 
etta laite kasrtta§ lisaksi valineet matkaviestlnn&n suorittamiseksi. 

23. Jonkin patenttivaatimuksen 17 — 22 mukainen laite, tunnettu siita, 
3b etta kuvassa on lisaksi kolmas varikomponentti, ja etta valineet 
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teravoittamlsen suorittamiseksi kasittavat valineet ensimmaisen, toisen 
ja kolmannen varikomponentin teravoittamiseksi. 

24. Tallennusvaline tietokoneohjelmatuotteen tallentamiscksi, joka 
kasittaa tietokonekaskyja varien teravoittamiseksi kuvassa, Jossa on 
ainakin ensimmainen ja toinen varikomponentti, ja ensimmaisen 
varikomponentin tietoa kasittavat pikselit sijaitsevat ainakin osittain eri 
paikoissa kujn toisen varikomponentin tietoa kasittavat pikselit, joka 
tietokoneohjelmatuote kasittaa tietokonekaskyja mainitun ensimrnaisen 
varikomponentin seka mainitun toisen varikomponentin 
interpoloimiseksi, seka tietokonekaskyja mainitun ensimmaisen 
varikomponentin teravoittamlsen ohjaamiseksi, ja tietokonekaskyja 
teravOittamisen suorittamiseksi, tunnellu siita, etta 
tietokoneohjelmatuote kasittaa lisaksi tietokonekaskyja mainitun toisen 
varikomponentin teravoittamisen ohjaamiseksi mainitun ensimmaisen 
varikomponentin teravoittamisen perusteella. 

25. Paterittivaatimuksen 24 mukainen tallennusvaline, tunnettu siita 
etta tietokoneohjelmatuote kasittaa lisaksi tietokonekaskyja 

ainakin yhden raja-arvon (Slim2) valitsemiseksi, 

ensimmaisen varikomponentin muutoksen laskemiseksi ainakin 

kahdessa eri suunnassa, 

itseisarvoltaan suurimman muutosarvon (T2) ia itseisarvoltaan 
pienimman muutosarvon (TI) valitsemiseksi lasketuista 
muutoksista, 

itseisarvoltaan pienimman muutosarvon (Ti ) ja Itseisarvoltaan 
suurimman muutosarvon (T2) suhteen maarittamiseksi, 
maaritetyn itseisarvoltaan suurimman muutosarvon (T2) ja 
itseisarvoltaan pienimman muutosarvon (TI) suhtccn 
vertaamlseksl malnlttuun ainakin yhteen raja-arvoon (Slim2), 
joljoin tietokoneohjelmatuote kasittaa lisaksi tietokonekaskyja 
vertailun tuloksen kaytt&miseksi ohjaamaan ensimmaisen 
varikomponentin torfivoittamista. 

26. Hatenttivaatimuksen 24 mukainen tallennusvaline, tunnettu siita, 
etta tietokoneohjelmatuote kasittaa lisaksi tietokonekaskyja 
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ainakin ensimmainen (JSliml) ja toinen raja-arvo (Slim2) 
valitsemiseksi, 

ensimmaisen varikomponentin muutoksen laskemiseksi ainakin 
kahdessa eri suunnassa, 

lasketuista muutoksista itseisarvoltaan suurimman muutosarvon 
(T2) ja itseisarvoltaan pienimman muutosarvon (Tl) 
valitsemiseksi, 

itseisarvoltaan pienimman muutosarvon (Tl ) ja itseisarvoltaan 
suurimman muutosarvon (T2) suhteen maarlttamlseksl, 
maarltetyn itseisarvoltaan suurimman muutosarvon (T2) ja 
itseisarvoltaan pienimman muutosarvon (Tl) suhteen 
vertaamiseksi mainittuihin ensimmgiseen (Sliml) ja toiseen raja- 
arvoon (Sjlnrte), jolloin tietokoneohjeimatuote kasittaa lisaksi 
tietokonekaskyja vertailun tuloksen kayttamiseksi ohjaamaan 
ensimmaisen varikomponentin teravoittamista. 

27. Tielokoneohjelmaluule, juka kasiUaa lielokonekaskyja varien 
teravdittamiseksi kuvassa, jossa on ainakin ensimmainen ja toinen 
varikomponeritti, ja ensimmaisen varikomponentin tietoa kasittavat 
pikeelit sijaitsevat ainakin osittain eri paikoissa kuin toisen 
varikomponentin tietoa k&siliavaL pikselil, joka tietokoneohjeimatuote 
kasittaatietokonekaskyja mainitun ensimmaisen varikomponentin seka 
mainitun toisen varikomponentin interpoloimiseksi, seka 
tietokonekaskyja mainitun ensimmaisen varikomponentin 
teravoittamisen ohjaamiseksi, ja tietokonekaskyja teravoittamisen 
suorittamiseksl, tunnettu siita, etta tietokoneohjeimatuote kasittaa 
lisaksi tietokonekaskyja mainitun toisen varikomponentin 
ter&vdfttarriisen ohjaamiseksi mainitun ensimmaisen varikomponentin 
teravoittamisen perusteella. 
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LS 

(b/) Tiivistelma: 



Menetelma, jarjestelma, lalte, tallennusvaltne seka 
tietokoneohjelmatuote varien ter&vQittamisekai kuva33a, 
jossa ensimmainen varikomponentii (G) inierpoloidaan 
(1) ja teravoitetaan (2) siten, etta lasketaan 
varikomponentin muutos eri suunnissa, valitaan 
lasketuista arvoiata auurin ja/tai pienin kuvaamaan 

suurinta Ja/tal plenlnta muutosta, Jonka jaikeen 
varikomponenttia terSvditetaan, Jos suurimman ja 
pienimman arvon suhde sijoittuu aiemmln sovlttuihln 
raja-arvoihin. Toinon v&rikomponcntti torSvSitctaan (3) 
mairiilun ensirnmaisen varikomponentin teravOilyksen 
perusteella. Teravoittamisen jaikeen tolnen 
varikomponentti interpoloidaan (4). jolloin muodostuu 
teravoitetty ja intarpoloitu kolmivarikuva (5). 

(Fig- 1) 
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A METHOD FOR INTERPOLATION AND SHARPENING OF IMAGES 

The present invention relates to a method for sharpening images as 
presented in the preamble of the appended claim 1. The present 
5 invention also relates to a system as presented in the preamble of the 
appended claim 14. Furthermore, the present invention relates to a 
device as presented in the preamble of the appended claim 17, a 
storage means as presented in the preamble of the appended 
claim 24, and a computer software product as presented in the 
10 preamble of the appended claim 27. 

Images taken by means for storing digital images, such as digital 
cameras, camera phones, or other cameras equipped with a single 
complementary metal-oxide semiconductor (CMOS) or with a single 
15 charge coupled device (CCD), do not comprise all colour component 
values for each pixel. Because the number of image sensors is 
decisive with respect to the price and the size of the device, it is 
obvious that the aim is to use only one image sensor in smaller devices 
(camera devices), wherein a so-called colour filter array (CFA), such as 
20 the Bayer matrix, is needed for forming the image. 

The Bayer matrix is a common colour array, in which only one colour is 
sampled in each pixel and which causes that the other colours of the 
colour system are lacking from each pixel. For example in the RGB 
25 colour system (Red, Green Blue), half of the pixels in the Bayer matrix 
form the green colour component and the other half of the pixels form 
the blue and the red colour component, and the values of the other 
colour tones are lacking from each pixel. This creates a need to 
interpolate the missing colour samples so that the image can be stored 
30 in its complete format. 

In the text, when referring to colours, the known RGB colour system 
will be used, which defines the colour by means of the relationship 
between red (R), green (G) and blue (B). However, it will be obvious 
35 that the colour component can also be described by the CMY colour 
system (Cyan-Magenta-Yellow), in which the colour is formed by 
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values of cyan (C), magenta (M) and yellow (Y). The colour system can 
also be any other corresponding system. 
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The conversion of an image in the Bayer matrix format to an RGB 
image request the interpolation of the missing colour values in each 
pixel. The interpolation system can be exemplified with an interpolation 
system utilizing the nearest neighbour pixels (the nearest neighbour 
method), in which for example the interpolation of the missing blue and 
red colours is made according to the nearest neighbour pixel of the 
same colour, as well as with bilinear interpolation, which has been 
improved so that the interpolation of green is controlled by means of 
the other colour components. We shall next describe this method as an 
example. Below, four possible situations will be presented for the 
position of the colour components in the Bayer matrix: 



a) b) • , -Sc) d) 

G Bl G G R1 G: Bl G B2 ; Rl G R2 

Rl G R2 Bl G B2 • • G R G G B G 

G B2 G G R2 G B3 'G B4 R3 G R4 

When the missing R and B values are computed for the green pixel G, 
as under the points (a) and (b), the average values are computed for 
two neighbours of the same colour. For example under point (a), the 
value of the blue component B in the green central pixel is the average 
value of the blue pixels above and under the green pixel G (B(G) = 
(Bl + B2) 12). In a corresponding manner, the value of the red 
component R in the green central pixel is the average value of the red 
pixels R adjacent to the green pixel G (R(G) = (Rl + R2) / 2). 



30 The case in point (c) is one where the blue colour is interpolated for a 
red pixel R. In this case, the average value is taken from the four 
closest blue pixels B (B(R) = (Bl + B2 + B3 + B4) / 4) which are 
located at the corners of the red pixel R. Similarly, the value of the red 
component R in a blue pixel B, under point (d), is obtained by 
35 computing the average value of the blue corner pixels B (R(B) = (Rl + 
R2 + R3 + R4) / 4). 
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The green component G can be interpolated by using the closest 
neighbour pairs. Below, two cases are presented for interpolating the 
green component G. 

5 

a) R1 b) B1 

G1 G1 

R4 G4 R G2 R2 B4 G4 B G2 B2 

G3 G3 

R3 B3 

Under point (a), the value of the green component G is interpolated for 
a red pixel R. The value of the green component G is thus: 

1 0 G(R) = (G1 + G3) / 2 if abs(R1 - R3) < abs(R2 - R4), 

(G2 + G4) / 2 , if abs(R1 - R3) > abs(R2 - R4), 

(G1 + G2 + G3 + G4) / 4 , if abs(R1 - R3) = abs(R2 - R4). 

In other words, the effect of the red component R is taken into account 
15 in the interpolation. If the difference between R1 and R3 is smaller than 

the difference between R2 and R4, it is noticed that the red R is 
stronger in the vertical direction, wherein the average value of the 
vertical neighbours G1 and G3 is used for computing the desired value 
in the interpolation. On the other hand, if the horizontal effect is greater, 
20 the adjacent neighbours are used respectively. If the ratio of red is the 
same throughout, all the four neighbours are used. In connection with 
the blue colour component B, a similar computation is made under 
point (b). 

25 US patent 5,247,352 discloses a method for sharpening a colour 
image. In the method, the sharpening is based on a three-dimensional 
colour space, for example the Munsell colour chart. The publication 
presents several switch states for defining the sum of colour difference 
signals and at least two sharpening signals. The switch states are set 
30 by means of a colour coordinate system. The system determines the 
pixel locations on the basis of the colour values of the pixels. The 
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positions of the switches are based on position data. On the basis of 
information transmitted by the switches, the device according to the 
publication can combine the desired sharpening signals with the colour 
difference signals. In this way, the image can be sharpened. So that 
5 the sharpening of the image would be of as good a quality as possible, 
there must be at least two sharp signals, red and green. In other words, 
in the method of the patent, the filtering of the second and the third 
colour components is adjusted on the basis of a value obtained from 
the colour space. 

10 

After the interpolation, all the colour components must be sharpened, 
which causes triple work for the image processing, which, in turn, 
requires that the processing system has a high processing capacity. 
The present invention improves the prior art by filtering the other colour 
15 components by utilizing the filtering result of a single colour 
component. In systems of prior art, the filtering in different components 
may cause different effects, wherein distortions may occur in the 
colours of the image. Also, in known sharpening functions, two kinds of 
undesired phenomena may occur, such as an increase in the noise 
20 and, particularly close to edges, excessive sharpening of the edge. 
This, in turn, causes ringing, which is manifested, for example, as a 
black line in connection with a white line. 

It is an aim of the present invention to facilitate the problems occurring 
25 in image processing by combining the interpolation and the sharpening 
in such a way that the effect of the sharpening filtering of the first colour 
component is utilized to control the sharpening of the next colour 
components. In the method according to the invention, one colour 
component is first interpolated and this interpolated colour component 
30 is sharpened. After this, the effect of the sharpening on the 
interpolated image is examined by deducing from each pixel of the 
sharpened image the corresponding pixel of the unsharpened image. If 
the effect of the sharpening on the first component was significantly 
high in a given pixel, the sharpening is performed for the second or 
35 third colour component, if there is one at the point in question. If the 
effect was lower, the possible pixel of the second or third colour 
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component is kept unchanged. In this way, the original pixels of the 
second and third colour components are, for the necessary parts, 
already sharpened before the interpolation of these colour 
components. In the filtering, it is possible to use any filtering mask of 
5 prior art. However, the most advantageous final result is obtained by 
using such an adaptive sharpening filter which only processes those 
pixels which are true edge pixels, wherein the edge strength can be 
used in the control of the sharpening. 

10 To put it more precisely, the method according to the present invention 
is primarily characterized in what will be presented in the characterizing 
part of claim 1 . The system according to the invention is primarily 
characterized in what will be presented in the characterizing part of the 
independent claim 14. The device according to the invention is 
15 primarily characterized in what will be presented in the characterizing 
part of the independent claim 17. The storage means according to the 
invention is primarily characterized in what will be presented in the 
characterizing part of the independent claim 24. The computer software 
product according to the invention is primarily characterized in what will 
20 be presented in the characterizing part of the independent claim 27. 

By the method according to the invention, in which interpolation is 
interleaved with sharpening, the effect required by the compuation can 
be reduced without affecting the quality of the image. By the method 
25 according to the invention, it is even possible to achieve a better image 
quality than in the conventional method, in which the whole sharpening 
of the image is made first after the interpolation. 

In addition to this, the sharpening method used in the invention is self- 
30 adaptive, wherein it is not used for sharpening uniform image areas, 
which will, in turn, reduce the quantity of noise in the image. 
Furthermore, by the method of the invention, the sharpening 
efficiencies are limited close to clear edges, to prevent ringing caused 
by over-sharpening. This makes the image more pleasant to look at. 



35 
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Furthermore, the size of the sharpening filter window (3 x 3) used in 
the invention has an advantageous effect on the memory loading, 
because most of the matrix rows do not need to be stored in the device 
as in the methods of prior art. Moreover, the size of the filter window 
5 reduces the heavy computing required in the processing, because the 
method is primarily based on making choices. 

The present invention will be described in more detail with reference to 
the following drawings, in which 

10 

Fig. 1 shows the processing order according to the invention for 
the interpolation and sharpening of a Bayer matrix image, 

Fig. 2 shows the basic principle of the sharpening method 

15 according to the invention, 

Figs. 3a to 3d shows the horizontal, vertical and diagonal directions of 
a sample with the size of 3 x 3 pixels, 

20 Figs. 4a to 4e shows interesting example cases occurring in the 
gradient computation according to the invention, and 

Fig. 5 shows an advantageous embodiment for the image 

processing system according to the invention. 

25 

Figure 1 shows the operating sequence of the method according to the 
invention for the interpolation and sharpening of a Bayer matrix image. 
Block 1 shows the interpolation of the image with respect to a first 
colour component G with full resolution in a known way. The first colour 
30 component G is preferably green because of the number of green 
pixels in relation to the number of blue and red pixels in the Bayer 
matrix (G:B:R 2:1:1). If the pixel numbers were different from those 
described, the first colour should be selected to be the colour 
component which the greatest number of pixels or the component 
35 whose change has the greatest effect on the luminance. After the 
interpolation of the image has been completed, the image is sharpened 
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accordingly with respect to the first colour component G, as will be 
shown in block 2. 

In block 3, the image is subjected to the sharpening of the second R 
5 and the third B colour components. At first, the effect of the sharpening 
for the first colour component G is compared with the interpolated 
colour component G. If this effect (abs[Sharpened — Unsharpened]) is 
significant, the 2nd and 3rd colour components of the corresponding 
point are sharpened by using the change caused by the sharpening of 
10 the first colour component as such or in proportion to the changes in 
the neighbour pixel values. If the effect is low, no sharpening is made. 

In block 4, the second and the third colour components are 
interpolated. The described process results in an interpolated and 
1 5 sharpened three-colour image (block 5). 

The sharpening process (blocks 2 and 3 in Fig. 1) will now be 
described in more detail. As mentioned, the sharpening of the first 
colour component is started right after the interpolation of said 
20 component. After this, according to the invention, the second and third 
colour components are sharpened, if necessary. 

Figure 2 shows the basic principle of the sharpening algorithm. At first, 
the second degree gradients (Laplacian) are computed for the first 
25 colour component G, to be able to monitor the change on the colour 
component and the intensity of the change, whereby the true edge 
pixels can be detected. The computation can be advantageously 
implemented by computing the gradients in four different directions in a 
sample of 3 x3 pixels (Fig. 3). The directions are the horizontal (3a), 
30 vertical (3b) and diagonal (NWSE = Northwest-Southeast, 3c; NESW = 
Southwest-Northeast, 3d) from the central pixel O. In the gradient 
computation, the two outermost pixel values (D, E; B, G; A, H; C, F) are 
first summed up in a given direction, after which the sum is deducted 
from the original pixel value O which has been multiplied by two. This is 
35 performed in each direction, whereby gradients are obtained for each 
direction: 
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GradHor = 2 x O - (D + E) (or GradHor = 2 xO-D-E) 
GradVer = 2 x O - (B + G) (or GradVer = 2xO-B-G) 
GradNWSE = 0,75 x (2 x O - (A + H)) 

5 (or GradNWSE = 0,75 x (2 x O - A - H)) 

GradNESW = 0,75 x (2 x O - (C + F)) 

(or GradNESW = 0,75 x (2 x O - C - F)) 

For a human observer, the changes are normally more significant in 
10 the horizontal and vertical directions; therefore, the diagonal gradients 
are attenuated by multiplying them with a constant smaller than the 
figure one. Furthermore, it should be taken into account that in the 
diagonal directions, the distance between the adjacent pixels is greater 
than in the horizontal and vertical directions. The ratio between the 
15 distances is exactly I/V 2 ~ 0.71. 

For the above-mentioned reasons, the coefficient 0.75, which is more 
advantageous than 0.71 in calculations, is used in the computation of 
GradNWSE and GradNESW. This value may also be another value, 
20 preferably smaller than the figure one, wherein the choice of either the 
horizontal or the vertical direction is preferred. 

From the computed gradients, the minimum and maximum values are 
searched, of which the one with the greater absolute value is selected 
25 and marked with the reference T2. The smaller value is marked with 
the reference T1. The sharpening function of the first colour component 
is based on the ratio between these values. T2 and T1 indicate the 
greatest and the smallest changes, respectively. The ratio between 
these figures indicates how important a change has taken place. 
30 Furthermore, information is stored about the sign of the gradient with 
the higher absolute value (T2). 

In the examination of the gradients, five interesting cases can be found 
to control the sharpening. Examples of these cases are shown in Figs. 
35 4a to 4e. 
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Fig. 4a: 



5 

Fig. 4b: 
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All the gradient values are negative. 

The smallest gradient value corresponds to the 
greatest change; in other words, it has the 
greatest absolute value. 

The gradients are distributed on both sides of 
the O-axis so that the gradient with the highest 
absolute value is on the negative side. As a 
result, the smallest gradient value indicates the 
greatest change. 



Fig. 4c: The gradients are distributed on both sides of 

the O-axis so that the gradient with the highest 
absolute value is on the positive side. The 
15 highest gradient indicates here the greatest 

change. 



Fig. 4d: 



20 



All the gradient values are on the positive side. 
The highest gradient value indicates the greatest 
change. 



Fig. 4e: All the gradient values are 0, wherein the image 

area is constant and there is no need for 
sharpening. 

25 

The sharpening of the colour component is controlled on the basis of 
the changes so that if the gradient with the highest absolute value (T2) 
is not sufficiently great (preferably T2 <2 when an 8-bit presentation 
form is used for the colour component), wherein the image area does 
30 not contain clear edges, and no sharpening is needed. In other cases, 
the ratio between the absolute values of the gradients is computed 
(ratio = T1 / T2). To subdue this ratio, it is also possible to add a 
constant value ( constl , const2) to each gradient value T1, T2, wherein 
the following equation is formed: 

35 

ratio = [T1 (+ constl)] /[T2 (+ const2)]. 
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The constants used in this equation can be unequal or equal to each 
other. Because of the image processing method or another factor 
relating to the properties of the image, it may be necessary to use 
5 unequal constants, but typically these constants are equal. It is also 
possible that the values are only constant on a given area in the image, 
in other words that different constant values are used in different areas 
of the image. 

10 The constant values (constl, const2) are small, preferably for example 

3 or another value between 1 and 1 0. The computed ratio is compared 
with two predetermined limit values, Sliml, Slim2. The values for these 
variables are preferably Slim2 = 0.8 and Sliml = 0.3. The values may 
also be other figures, whereby as good a quality is achieved as 
15 possible for the output image in a way as simple as possible, for 

example Sliml = 0.1 -0.5 and Slim2 = 0.5-1 .0. The few values of the 
ratio occur between the limit values, the faster the pixel value can be 
computed. With respect to the speed, it is advantageous that Slim2 is 
as small as possible. 

20 

Sharpening will not be needed, if the change ratio is greater than or 
equal to the second limit value (Slim2) ( ratio > Slim2). Thus, there may 
be noise in the image location, wherein the gradient values T1, T2 
have the same sign and are almost equal. Another alternative is that 
25 the gradient values T1, T2 have opposite signs but an almost equal 
absolute value, wherein the direction of the sharpening cannot be 
predicted. In both cases, it is worthwhile not to perform sharpening. 

If the change ratio is smaller than or equal to the first limit value (Sliml) 
30 (ratio < Sliml), it can be presumed that said pixels are true edge pixels, 
wherein maximum sharpening is used. The sharpening (sharp) is 
implemented by multiplying the highest gradient value T2 with a gain 
whose value is predetermined, and preferably the gain = 0.6. The gain 
may also be another value. The purpose of the gain is to highlight the 
35 clear edges further. The sharpening function (sharp) is thus brought to 
the format: 
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sharp = O + sign xT2 x gain 



If the change ratio is set between the limit values ( Slim2 > ratio > 
5 Sliml), the sharpening function is adjusted with a weight coefficient 
(weight). The weight coefficient is computed by multiplying the 
difference between the second limit value (Slim2) and the gradient ratio 
(ratio) with a coefficient dependent on the limit values (coeff): 
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coeff = 



1 

Slim2 — Sliml 



and 



weight = coeff x (Slim2 - ratio) 

The weight coefficient (weight) is reduced between the limit values 
15 {Sliml, Slim2 ) linearly from one to zero as the ratio is increased. For 
this reason, the computation of the weight coefficient becomes as easy 
as possible, when the limit values are selected Slim2 = 0.8 and Sliml 
= 0.3, wherein coeff = 2. The limit values must be very close to these 
values to avoid excessive reduction of the effect of sharpening or to 
20 avoid sharpening of wrong pixels. The weighted sharpening function is 
thus: 



sharp = O + sign x (weight x T2) x gain 

25 If the value of the sharpening function (sharp) is different from the 
original average pixel value (O), a final examination is made. If the 
proposed change in the sharpening function ( abs(sharp - O)) is greater 
than the allowed predetermined sharpening limiter (over), the output 
value can be limited; in other words, over-sharpening is prevented. The 
30 value of the sharpening limiter (over) is preferably 40 (in an 8-bit 
system), but it can also be another value according to the preferences 
of the viewer. If the sign is negative, the output (sharp) cannot be 
smaller than the one with the smallest pixel value in the selected 
sharpening direction (Min(x, O, y), in which x and y are the outermost 
35 pixels in the environment of the central pixel O in the filtering window), 
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from which the value of the sharpening limiter {over) has been 
deducted. On the other hand, if the sign is positive, the output cannot 
be greater than the greatest pixel in the selected sharpening direction 
(Max(x, O, y), x and y as above), to which the value of the sharpening 
5 limiter {over) has been added. The table hereinbelow shows the control 
value and the final sharpening output (final) after the selected 
sharpening direction has been examined. 



Direction of the 
largest change 
(DLC) 


Sign of the DLC 


Control value ( CW) 


Final output ( final) 


Horizontal 


negative 


Min(D,0,E) - over 


Max(sharp, CW) 


Horizontal 


positive 


Max(D,0,E) + over 


Min(sharp, CW) 


Vertical 


negative 


Min(B,O.G) - over 


Max(sharp, CW) 


Vertical 


positive 


Max(B,O.G) + over 


Min(sharp, CW) 


NW-SE 


negative 


Min(A,O.H) - over 


Max(sharp, CW) 


NW-SE 


positive 


Max (A,0,H) + over 


Min(sharp, CW) 


NE-SW 


negative 


Min(C,0,F) - over 


Max(sharp, CW) 


NE-SW 


positive 


Max(C,O.F) + over 


Min(sharp, CW) 



10 It can be seen in table that the final sharpening output (final) is either 
the control value (CW) or the value of the sharpening function (sharp). 
Max(sharp, CW) means that the final output is either the control value 
(CW) or the value of the sharpening function (sharp), depending on 
which one is greater. In a corresponding manner, Min(sharp, CW) 
15 means that the final output is either the control value (CW) or the value 
of the sharpening function (sharp), depending on which one is smaller. 

The above-presented limit values Sliml and Slim2 do not change when 
the value range of the colour system is changed, for example, from 
20 8 bits to 16 bits. However, the value of the sharpening limiter over is 

multiplied according to the bit number in such a way that, for example, 
when the value range of the colour system is changed from 8 bits to 
10 bits, over(10) = over(8) x 2 (10 ' 8) . 
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If there is a second or third colour value at the pixel of the sharpened 
first colour, the pixel of the second or third colour is sharpened 
accordingly. The final change (final-O) in the pixel value caused by the 
sharpening of the first colour component is directly added to the colour 
5 component to be sharpened ( rb ), if the difference between the pixel 
values of the first colours before the sharpening, O, and after the 
sharpening, final, is small (abs(final - O) < 2, (8-bit)): 

rb’ = rb + (final - O). 

10 

If the difference in the pixel of the first colour before the sharpening, O, 
and after the sharpening, final, is sufficiently great ( absffinal - O) > 2, 
(8-bit)), the sharpening is proportioned to the difference between the 
maximum and the minimum of the neighbour pixel values. 

15 

In the proportioned sharpening, the following steps are taken. Let us 
assume the following mask which includes all the existing pixel 
locations. 

a b c d e 

f g h i j 

k I m n o 

p q r s t 

u v x y z 

20 

Let us assume that m is the location of the pixel under examination, 
where the sharpening has been performed for the first colour and 
where there is a second or a third colour. Let us take the positions of 
the nearest pixels of the same colour (second or third colour) around 
25 the location m in the horizontal and vertical directions. Thus, the points 
c, x, k and o are obtained. Of these found locations c, x, k and o, the 
minimum minC and maximum maxC pixel values are searched for. In 
corresponding locations, also the pixel values after the interpolation of 
the first colour component (before the sharpening) are checked, of 
which also the minimum mini and maximum maxi pixel values are 



30 
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searched for. If the difference between the pixel values ( maxC - minC) 
of the second or third colour component (rb) of the original image is 
smaller than the difference ( maxi - mini) between the corresponding 
pixel values of the first colour component of the interpolated image 
5 [( maxC - minC) < ( maxi - mini)], the following formula is used for 

sharpening: 



rb’= rb + ( final — O)* 



max C - min C + add 
max 1 — min 1 + add 



1 0 in which add is the softening coefficient of the ratio, preferably 3 in a 
system of 8 bits. In other respects, the above-described formula is 
applied: 

rb’ = rb + (final - O). 

15 

After the necessary pixel locations have been scanned by sharpening 
the desired colour components, the second and third colour 
components are interpolated. 

20 The pixels of the second (R) and third (B) colour components in 
different locations (where there is originally no second or third colour 
component (R/B)) are sharpened automatically in connection with the 
last interpolation when interpolation based on the Laplacian2 operation 
is used, as described, for example, in US patent 5,506,619. In the 
25 method according to the reference, the interpolated first colour 
component G is subjected to computation of the second degree 
Laplacian correcting value D which is deducted or added to the pixel of 
the second, i.e. red R, or third, i.e. blue B, colour component. 
Consequently, said second or third colour component does not need to 
30 be sharpened separately. 

The above-described method of the invention for processing an image 
can be presented by the following pseudo code: 
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Sharpening of the first colour component 

GradHor = 2 x O - (D + E); 

GradVer = 2 x O - (B + G); 

5 GradNWSE = 0,75 x (2 x O - (A + H)); 

GradNESW = 0,75 x (2 x O - (C + F)); 

MinGrad = Min(GradHor, GradVer, GradNWSE, GrandNESW); 
MaxGrad = Max(GradHor, GradVer, GradNWSE, GrandNESW); 

10 If (abs(MinGrad) > abs(MaxGrad)) then 
T2 = abs(MinGrad); 

T1 = abs(MaxGrad); 

Sign = MinGrad/abs(MinGrad); 

else 

15 T2 = abs(MaxGrad); 

T1 = abs(MinGrad); 

Sign = MaxGrad/abs(MaxGrad); 

2) then 

ratio = (T1 + const) / (T2 + const); 

If (ratio > Slim2) then 
sharp = O; 

On the other hand, if (ratio < Sliml) then 
sharp = O + sign x T2 x gain; 

else 

weight = coeff x (Slim2 - ratio); 
sharp = O + sign x (weight x T2) xgain; 
in which Slim2 = 0.8; 

Sliml = 0.3; 
gain = 0.6; 

coeff = 2 (1/(Slim2-Slim1)) 

If (abs(sharp - O)) > over then 
If (sign < 0) th n 

CW = Min(x, O, y) - over 
final = Max(sharp, CW) 

Ise 



If (T2 > 

20 



25 



30 



35 
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CW = Max(x, O, y) + over 
final = Min(sharp, CW) 

in which the pixels x and y are determined 
according to the selected direction around the 
5 central point O of the filtering window 

else 

final = sharp; 

else 

final = O; 

10 

Sharpening of the original pixels of the second or third colour 
components 

If there is a pixel of the second or third colour component in the 
15 location of the point O of the sharpened first colour component, then 

rb = the value of the second or third colour component in 
the location of the point O of the sharpened first colour 
component; 

If (abs(final - O)) < 2 then 
20 rb’ = rb + (final - O); 

else // proportioned sharpening 

If ((maxC - minC) < (maxi - mini)) then 

rb’ = c + (final - O) x ((maxC - minC 
25 + add) / (maxi - mini + add)) 



in which add = 3 

minC = Min (OriNeigboursC(rb)) 
maxC = Max (OriNeigboursC(rb)) 

30 mini = Min(lntNeigbours1(rb)) 

maxi = Min(lntNeigbours1(rb) 

OriNeigboursC = values of the closest (c,x,k,o) 
original pixels of the second/third colour 
component 

35 IntNeigboursI = values of the closest (c,x,k,o) 

interpolated pixels of the first colour component 
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else 

rb’ = rb + (final - O). 

5 The above-described image sharpening method according to the 
invention can be implemented with an image processing system which 
is shown in Fig. 5. An imaging device C (a camera or the like) produces 
a Bayer matrix image I for the image processing system. The matrix 
image I is divided in a colour separation unit S into three colour 
10 components which are represented by signals R, G, B. For example, 
the signal G represents the green colour component which is led for 
processing in an interpolation unit 1 to generate a signal G1. The 
interpolated signal G1 is sharpened in a sharpening unit 2, the resulting 
signal G2 being compared with the interpolated signal G1. The 
15 deviation G3 from the signals G2-G1 given by a differential unit D is led 
together with the colour signals R, B to another sharpening unit 3. The 
colour signals R, B are preferably the red and blue colour components. 
If necessary, said signals R, B and sharpened in the second sharpen- 
ing unit by the effect of the deviation G3. Next, the formed sharpened 
20 signals R1, B1 are led to a second interpolation unit 4, in which the 
signals R1, B1 are processed, producing interpolated signals R2, B2. 
In said interpolation unit 4, the colour pixels to be interpolated (from 
which the green colour component G was missing) are automatically 
sharpened. As the output from the image processing system, a three- 
25 colour image is obtained, in which each colour component has been 
sharpened. 

It will be obvious for anyone skilled in the art that the above-described 
invention can also be applied in other systems than those applying the 
30 Bayer matrix. The method according to the invention is advantageous 
in systems in which all the colour components are not collected for all 
the pixels. An example is a device which records an intensity value for 
each pixel but a colour value for only some of the pixels. In view of the 
application and the basic operation of the invention, it is not significant 
35 in which way colour components are left missing from some pixels. An 
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example to be mentioned is a hexagonal colour system which can be 
easily implemented by applying the invention. 

In addition to what has been discussed above, it will be obvious that 
5 the colour components can also be other than green G, red R and blue 
B. The invention can be applied, for example, in devices which record, 
at various resolutions, any electromagnetic radiation with two different 
wavelengths, such as light, infrared radiation, ultraviolet light, or 
radiation with a shorter wavelength, such as gamma or x-ray radiation, 
10 or radiation with a longer wavelength, such as microwave radiation. 
Furthermore, the invention can be applied in such cases in which the 
components to be sharpened are obtained as a combination of the 
above-mentioned components. Consequently, the colour component 
may belong to a colour system which is preferably selected from the 
15 group RGB, CMY, CMYK, HSI, or YUV. 

The image processing system according to the invention can be 
implemented as a part of an electronic device, for example in a digital 
signal processing unit in a camera, or the like. Typically, the electronic 
20 device also comprises other functions, such as means for displaying 
image information to the user and a processor for controlling the 
electronic device. A digital camera comprising the image processing 
system according to the invention can be preferably implemented in 
connection with a mobile device, either as a separate unit or integrated 
25 in the device, which mobile device also comprises means for mobile 
communication. Furthermore, the digital camera comprising the image 
processing system according to the invention may be connected to a 
communication network (e.g. the Internet), such as WebCam. 

30 It will be obvious that the present invention is not limited solely to the 
above-presented embodiment, but it can be modified within the scope 
of the appended claims. 
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CLAIMS 

1 . A method for sharpening colours in an image comprising at least a 
first and a second colour component, the pixels comprising information 
of the first colour component being located at least partly in locations 
different from the pixels comprising information of the second colour 

5 component, in which method said first colour component and said 
second colour component are interpolated, and at least said first colour 
component is sharpened, characterized in that the sharpening of 
said second colour component is controlled on the basis of the 
sharpening of said first colour component. 

10 

2. The method according to claim 1 , characterized in that for 
sharpening the first colour component, 

at least one limit value (Slim2) is selected, 
the change of the first colour component is computed in at least 
15 two different directions, 

from the computed changes, the change value (T2) with the 
highest absolute value is selected to represent the greatest 
change, and from the computed change values, the change 
value (T1) with the smallest absolute value is selected to 
20 represent the smallest change, 

the ratio is determined between the change value (T1) with the 
smallest absolute value and the change value (T2) with the 
highest absolute value, 

the determined ratio between the change value (T2) with the 
25 highest absolute value and the change value (T1) with the 

smallest absolute value is compared with at least one limit value 
(Slim2), wherein the result of the comparison is used to control 
the sharpening of the first colour component. 

30 3. The method according to claim 2, characterized in that the first 

colour component is sharpened, if the ratio between the change value 
(T1) with the smallest absolute value and the change value (T2) with 
the highest absolute value is smaller than said limit value (Slim2). 
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4. The method according to claim 1, charact riz d in that for 
sharpening the first colour component, 

at least a first limit value (Sliml) and a second limit value (Slim2) 
are selected, 

5 - the change of the first colour component is computed in at least 

two different directions, 

from the computed changes, the change value (T2) with the 
highest absolute value is selected to represent the greatest 
change, and from the computed change values, the change 
10 value (T1) with the smallest absolute value is selected to 

represent the smallest change, 

the ratio is determined between the change value (T1) with the 
smallest absolute value and the change value (T2) with the 
highest absolute value, 

15 - the determined ratio between the change value (T2) with the 

highest absolute value and the change value (T1) with the 
smallest absolute value is compared with said first (Sliml) and 
second (Slim2) limit values, wherein the result of the comparison 
is used to control the sharpening of the first colour component. 

20 

5. The method according to claim 4, characterized in that said 
comparison is used to determine the intensity of the sharpening in such 
a way that 

if the ratio is smaller than the first limit value (Sliml), the 
25 sharpening is maximized, 

if the ratio is within the value range defined by the first (Sliml) 
and the second (Slim2) limit values, a sharpening smaller than 
the maximum is used, and 

in other cases, the first colour component is left unsharpened. 

30 

6. The method according to any of the claims 1 to 5, characterized in 
that the sharpening of said second colour component is based on the 
extent of the change caused by the sharpening of the first colour 
component on the first colour component. 
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7. The method according to claim 6, charact rized in that a reference 
value is determined, and that the sharpening value of the first colour 
component is added to said second colour component to sharpen said 
second colour component, if the extent of the change caused by the 

5 sharpening on the first colour component is smaller than or equal to a 
determined reference value. 

8. The method according to claim 6 or 7, characterized in that a 
reference value is determined, and that the sharpening of said second 

10 colour component is proportioned to the neighbour pixels of the second 
colour component, if the extent of the change caused by the sharpen- 
ing on the first colour component is greater than the determined 
reference value. 

15 9. The method according to any of the preceding claims, 

characterized in that the method is used for sharpening at least two 
other colour components. 

10. The method according to any of the preceding claims, 

20 characterized in that the first colour component is the one with the 

greatest number of pixels and/or the greatest effect on the luminance 
of the image. 

11. The method according to any of the preceding claims, 

25 characterized in that the sharpening is amplified at the pixels 

representing an edge. 

12. The method according to any of the preceding claims, 

characterized in that the sharpening is limited, if the change caused 

30 by the sharpening is greater than that determined. 

13. The method according to any of the preceding claims, 

charact rized in that the colour component belongs to a colour 
system which has been selected from the group RGB, CMY, CMYK, 
HSI, or YUV. 
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14. A system for sharpening colours in an image with at least a first 
and a second colour component, and the pixels comprising information 
about the first colour component are placed at least partly in different 
locations than the pixels comprising information of the second colour 

5 component, which system comprises means for interpolating said first 
colour component and said second colour component, as well as 
means for controlling the sharpening of said first colour component, 
and means for performing sharpening, characterized in that the 
system also comprises means for controlling the sharpening of said 
10 second colour component on the basis of the sharpening of said first 
colour component. 

15. The system according to claim 14, characterized in that the 
system also comprises means 

15 - for selecting at least one limit value (Slim2), 

for computing the change of the first colour component in at least 
two different directions, 

for selecting, from the computed changes, the change value with 
the highest absolute value (T2) and the change value with the 
20 lowest absolute value (T1), 

for determining the ratio between the change value with the 
smallest absolute value (T1) and the change value with the 
highest absolute value (T2), 

for comparing the determined ratio between the change value 
25 with the highest absolute value (T2) and the change value with 

the smallest absolute value (T1) with at least one limit value 
(Slim2), wherein the result of the comparison is arranged to be 
used to control the sharpening of the first colour component. 

30 16. The system according to claim 14, characterized in that the 

system also comprises means 

for selecting at least a first limit value (Sliml) and a second limit 
value (Slim2), 

for computing the change of the first colour component in at least 
35 two different directions, 
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for selecting, from the computed changes, the change value with 
the highest absolute value (T2) and the change value with the 
lowest absolute value (T1), 

for determining the ratio between the change value with the 
5 smallest absolute value (T1) and the change value with the 

highest absolute value (T2), 

for comparing the determined ratio between the change value 
with the highest absolute value (T2) and the change value with 
the smallest absolute value (T1) with said first (Sliml) and 
10 second (Slim2) limit values, wherein the result of the comparison 

is arranged to be used to control the sharpening of the first 
colour component. 

17. A device for forming an image, which comprises means for 
15 sharpening colours in an image with at least a first and a second colour 

component, and the pixels comprising information about the first colour 
component being placed at least partly in different locations than the 
pixels comprising information of the second colour component, which 
device comprises means for interpolating said first colour component 
20 and said second colour component, as well as means for controlling 
the sharpening of said first colour component, and means for 
performing sharpening, characterized in that the device also 
comprises means for controlling the sharpening of said second colour 
component on the basis of the sharpening of said first colour 
25 component. 

18. The device according to claim 17, characterized in that the device 
also comprises means 

for selecting at least one limit value (Slim2), 

30 - for computing the change of the first colour component in at least 

two different directions, 

for selecting, from the computed changes, the change value with 
the highest absolute value (T2) and the change value with the 
lowest absolute value (T1), 
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for determining the ratio between the change value with the 
smallest absolute value (T1) and the change value with the 
highest absolute value (T2), 

for comparing the determined ratio between the change value 
5 with the highest absolute value (T2) and the change value with 

the smallest absolute value (T1) with at least one limit value 
(Slim2), wherein the result of the comparison is arranged to be 
used to control the sharpening of the first colour component. 

10 19. The device according to claim 17, characterized in that the device 

also comprises means 

for selecting at least a first limit value (Sliml) and a second limit 
value (Slim2), 

for computing the change of the first colour component in at least 
two different directions, 

for selecting, from the computed changes, the change value with 
the highest absolute value (T2) and the change value with the 
lowest absolute value (T1), 

for determining the ratio between the change value with the 
smallest absolute value (T1) and the change value with the 
highest absolute value (T2), 

for comparing the determined ratio between the change value 
with the highest absolute value (T2) and the change value with 
the smallest absolute value (T1) with said first (Sliml) and 
second (Slim2) limit values, wherein the result of the comparison 
is arranged to be used to control the sharpening of the first 
colour component. 

20. The device according to claim 17, 18 or 19, characterized in that 
30 a reference value is determined in the device, and that said means for 
performing the sharpening comprise means for adding the sharpening 
value of the first colour component to said second colour component to 
sharpen said second colour component, if the extent of the change 
caused by the sharpening on the first colour component is smaller than 
or equal to a determined reference value. 
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21. The device according to any of the claims 17 to 20, characteriz d 
in that a reference value is determined in the device, and that said 
means for performing the sharpening comprise means for proportioning 
the sharpening of said second colour component to the neighbour 

5 pixels of the second colour component, if the extent of the change 
caused by the sharpening on the first colour component is greater than 
the determined reference value. 

22. The device according to any of the claims 17 to 21, characterized 
10 in that the device comprises means for mobile communication. 

23. The device according to any of the claims 17 to 22, characterized 
in that the image also comprises a third colour component and that the 
means for performing the sharpening comprise means for sharpening 

1 5 the first, second and third colour components. 

24. A storage means for storing a computer software product, which 
comprises computer commands for sharpening colours in an image 
with at least a first and a second colour component, and the pixels 

20 comprising information about the first colour component being placed 
at least partly in different locations than the pixels comprising 
information of the second colour component, which computer software 
product comprises computer commands for interpolating said first 
colour component and said second colour component, as well as 
25 computer commands for controlling the sharpening of said first colour 
component, and computer commands for performing sharpening, 
characterized in that the computer software product also comprises 
computer commands for controlling the sharpening of said second 
colour component on the basis of the sharpening of said first colour 
30 component. 

25. The storage means according to claim 24, characterized in that 
the computer software product also comprises computer commands 

for selecting at least one limit value (Slim2), 

35 - for computing the change of the first colour component in at least 

two different directions, 
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for selecting, from the computed changes, the change value with 
the highest absolute value (T2) and the change value with the 
lowest absolute value (T1), 

for determining the ratio between the change value with the 
5 smallest absolute value (T1) and the change value with the 

highest absolute value (T2), 

for comparing the determined ratio between the change value 
with the highest absolute value (T2) and the change value with 
the smallest absolute value (T1) with at least one limit value 
10 (Slim2), wherein the computer software product also comprises 

computer commands for using the result of the comparison to 
control the sharpening of the first colour component. 

26. The storage means according to claim 24, characterized in that 
1 5 the computer software product also comprises computer commands 

for selecting at least a first limit value (Sliml) and a second limit 
value (Slim2), 

for computing the change of the first colour component in at least 
two different directions, 

20 - for selecting, from the computed changes, the change value with 

the highest absolute value (T2) and the change value with the 
lowest absolute value (T1), 

for determining the ratio between the change value with the 
smallest absolute value (T1) and the change value with the 
25 highest absolute value (T2), 

for comparing the determined ratio between the change value 
with the highest absolute value (T2) and the change value with 
the smallest absolute value (T1) with said first (Sliml) and 
second (Slim2) limit values, wherein the computer software 
30 product also comprises computer commands for using the result 

of the comparison to control the sharpening of the first colour 
component. 

27. A computer software product comprising computer commands for 
sharpening colours in an image with at least a first and a second colour 
component, and the pixels comprising information about the first colour 
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component being placed at least partly in different locations than the 
pixels comprising information of the second colour component, which 
computer software product comprises computer commands for 
interpolating said first colour component and said second colour 
component, as well as computer commands for controlling the 
sharpening of said first colour component, and computer commands for 
performing sharpening, characterized in that the computer software 
product also comprises computer commands for controlling the 
sharpening of said second colour component on the basis of the 
sharpening of said first colour component. 
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Abstract : 

A method, a system, a device, a storage means, and a 
computer software product for sharpening colours in an 
image, in which a first colour component (G) is inter- 
polated (1) and sharpened (2) in such a way that the 
effect of the colour component is computed in different 
directions, the highest and/or lowest value of the 
computed values is selected to represent the greatest 
and/or smallest change, after which the colour 
component is sharpened, if the ratio between the 
highest and lowest values falls within predetermined 
limit values. The second colour component is sharpened 
(3) on the basis of the sharpening of said first colour 
component. After the sharpening, the second colour 
component is interpolated (4), wherein the result is a 
sharpened and interpolated three-colour image (5). 



(Fig. 1) 




